Sample-Efficient Learning from Agent Experience
样本高效地从智能体经验中学习
🧭 Agent 经验蒸馏 · 样本高效学习 ★ 深度解读
Monash University · ByteDance Seed
提出经验蒸馏，无需额外环境交互即可将 ICL 增益蒸馏到模型权重，保留 64.8% 增益，比 SFT 高 17 倍，比 RL 节省 9.6 倍样本
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 系统中，利用用户历史交互作为上下文进行 ICL，再通过单步经验蒸馏将改进的行为固化到模型权重，可大幅减少线上推理时的上下文长度和成本。
- 分支打包技术能够在单个训练序列中高效利用长交互历史中的多个决策点，可迁移至用户行为序列建模，如将多次推荐点击/转化作为监督信号紧凑打包训练。
- 模型自由的单步蒸馏避免了世界模型误差和额外的线上交互，适用于推荐场景中的离线日志训练，无需重新部署模型到线上试验即可提升策略。
- 可借鉴多任务经验蒸馏实现零样本或小样本任务泛化，通过多用户群体的历史经验蒸馏提升模型对新用户的冷启动表现。